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Tussenrapportage  validatie 
onderwijsvernieuwingen 


Gm  opleidingsontwikkelaars  te  helpen  bi j  het  maken  van  een  keuze  voor  een 
onderwijsconcept,  is  een  hulpmiddel,  in  de  vorm  van  een  instrument, 
ontwikkeld.  Een  aantal  realistische  cases,  die  een  bepaalde  ondervvijssituatie 
binnen  de  KL  beschrijven,  zijn  gebruikt  om  het  concept- instrument  te 
valideren.  In  totaal  zijn  erdrie  validatie-activiteiten  uitgevoerd,  met 
onderwijsexpeits,  met  niet-onderwijsexperts  en  met  instructeurs  in  opleiding. 
Deze  hadden  tot  doel  om  het  conceptinstrument  op  waarde  te  schatten  en  te 
bepalen  welke  onderdelen  verder  moeien  warden  aangescherpt 


Problcemstelling 

Door  regelmaiige  wisselingen  van  timctic 
binnen  defensie  moeten  opleidings- 
oniwikkelaars  in  korte  tijd  veel  expertise 
opdoen  in  het  ontwikkelen  van  opleidingen. 
Ter  ondensteuning  van  deze  onderwijs- 
oniwikkelaars  is  een  instrument  ontwikkeld 
dat  kan  adviseren  we  Ik  onderwijsconcept 
voor  een  leersituatie  het  meest  geschikt  is, 
De  hTuikbaarheid  van  dit  instrument  wonJl 
beoordeeld  aan  de  hand  van  een  validatie. 


Beschrijving  van  de 
werkzaamheden 

Als  eerste  stap  in  de  validatie  zijn  de 
casebesehrijv ingen  van  prototypische 
onderwijssituaties  aan  experts  voorgelegd, 
Aan  hen  is  gevraagd  we  Ik  onderwijsconcept 
het  beste  past  bij  de  geschetste  situalie. 
Vervolgens  is  verge leken  of  de  mening  van 
experts  overeenkomt  met  het  be*x)gde  ad  vies. 
Daarna  hebben  niet -onderwijsexpeits  het 
systeem  gebaiikt  om  de 


gehruikersvriendeUjk  te  toetsen.  Tenskme  is 
met  29  KL-tnstn»cieurs  in  opleiding 
ge  v  a  1  i  deerd  o f  de  ve rw  ac  ht  e  ad  v  i eze n 
wenlen  getoond  op  basis  van  de  door  hen 
ingevukle  vragen. 

Resuhaten  en  conclusies 

De  uilkomsten  van  de  validatie  zijn  zeer 
bemoedtgend  De  result  ate  n  van  de  niet- 
experts  toonden  dat  er  een  zekere  mate  van 
vakkennjs  wordt  vetoodefsteld  om  het 
instrument  goed  te  kunnen  gehruiken. 

(>p  basis  hiervan  zijn  enkele  aanseherpingen 
doorgevoerd  in  het  instrument . 
Beoordelingen  van  de  experts  bevestigden  de 
inhoudelijke  zuiverheid  van  de  gehanteerde 
concepten.  Een  aantal  afwijkingen  word  I 
verklaard  dixir  de  inhoudelijke  overlap  lussen 
dc  omierwtj seoncepien  die  verwarrend  kan 
zijn,  Daamaast  is  er  een  versehil  tussen 
theonetjsche  inzet  van  een  concept  en  de 
praktische  uitvoering  hiervan, 

Hierdoor  kunnen  concepten  met  een 
ovcrlappend  pro  tie  1  so  ms  moellljk  worden 
onderseheideti.  Voor  case  B  block  dat  het 
instrument  nog  onvoldoende  onderseheidend 
vermogen  bee  ft  om  een  passe nd  concept  te 
adviseren  aan  de  groep  instructeurs  in 
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opleiding,  Het  instrument  genereeidc  voor 
cases  A  en  C  eon  pas  send  ad  vies  voor  een 
grote  meerderheid  vande  instructeurs  in 
opleiding.  Hiermee  wordl  aangetoond  dat 
bet  instrument  in  staai  is  om  een 
o oderwijsconcepl  tc  adviseren zoals  een 
expen  zou  kunnen  doen. 

Voor  onderwijseoncepien  die  inhoudelijk 
o vc rl append  zijn.  geldt  dal  het  instrument 
meer  detmlinformatie  nndig  heeft  ora  een 
geditTeremieerder  ad  vies  te  kunnen 
genereren.  Tevens  mod  worden  beoordeeld 
we  Ike  andere  onderwijseoncepien  belangrijk 
zijn  ofgaan  worden  om  het  instrument  te 
optimahseren.  Dczc  kunnen  dan  worden 
tocgevoegd  met  a  Is  doe!  om  nog  beter 
passe  tide  adviezen  to  kunnen  genereren. 
Hierdoor  kunnen  opleidingsontwikkelaars 
e  fleet  i  eve  re  cursus  sc  n  same  nste  lien. 
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Samenvatting 


Vraagstelling 

Op  basis  van  een  8-tal  onderwijsconcepten  (probleem  gestuurd  leren* 
competentiegericht  leren,  deelvaardigheid  gestuurd  leren.  case  gebaseerd  leren, 
organ  isatie  leren.  leren  op  de  werkplek*  e- learning  en  frontaal  leren)  is  in  2005  een 
concept  instrument  ontworpen  otn  instructeurs  te  ondersteunen  in  hei  ontwerpen  van 
nieuwe  onderwijsmethoden.  Het  instrument  bestaat  uit  een  aantal  vragen  waarvan  de 
gegeven  antwoorden  leiden  tot  een  ad  vies  voor  een  passend  onderwijsconcept. 

Het  instrument  moest  zowe!  op  inhoud  als  in  gebruik  getoetst  worden.  Aan  de  hand  van 
validates  met  onderwijsexperts,  niet-onderwijsexpens  en  instructeurs  in  opleiding  is 
getoetst  of  het  instrument  werkt  zoals  beoogd. 

Werkwijze 

Om  de  validiteit  van  het  instrument  te  toetsen  is  een  drietal  onderwijskundig  experts 
gevraagd  om  de  onderwijsconcepten  inhoudelijk  te  toetsen  aan  de  hand  van  hun  eigen 
expertise.  Vervolgens  is  een  drietal  niet-onderwijsexperts  gevraagd  het  instrument  te 
gebruiken  om  het  gebruikersgemak  van  het  instrument  te  toetsen,  Daamaast  werd  met 
deze  toets  gekeken  in  hoevenre  het  instrument  hruikhaar  is  voor  de  onervaren  gebruiker. 
Tot  slot  hebben  29  instructeurs  in  opleiding  het  instrument  gebruikt  om  een 
opieidingsadvies  te  generen. 

Resultaten 

De  experts  hadden  consensus  over  de  inhoud  en  toepassing  van  de  aan  hen  voorgelegde 
onderwijsconcepten,  De  niet-experts  gaven  aan  dat  de  vragen  in  het  instrument 
aangescherpt  konden  worden  en  dat  sommige  vakinhoudelijke  termen  /  jargon  meer 
uitleg  behoefde.  Verder  hleek  dat  het  instrument  in  staat  is  om  een  passend  ad  vies  te 
geven  aan  de  groep  instructeurs  in  opleiding. 

Conciliates 

Gebleken  is  uit  de  validatie  met  de  onderwijsexperts  dat  de  gehanteerde 
onderwijsconcepten  inhoudelijk  in  grote  lijnen  correct  zijn.  Inconsistenties  in  de 
beoordeling  van  de  experts  onderschrijven  dat  er  nuance  verschillen  kunnen  bestaan  in 
de  interpretatie  van  de  concepten  door  experts.  Dit  is  in  lijn  met  de  be vind ingen  van  de 
binnen  dit  project  uitgevoerde  literatuur  studie  (Theunissen  et  aL  2005),  Deze  validatie 
toont  aan  dal  het  instrument  in  principe  goed  in  staat  is  om  een  passend 
onderwijsconcept  te  adviseren,  Het  instrument  kan  nog  niet  foutloos  onderscheid  maken 
tussen  concepten  die  grote  inhoudelijk  overlap  hebben.  Hiertoe  zouden  extra  vragen  die 
meer  in  de  details  van  de  opleiding  ingaan  een  uitkomst  moeten  bieden,  Als  gevolg 
hiervan  kan  het  instrument  bijdragen  aan  uniformering  van  begrippen  en  concepten 
binnen  de  O&T  organisatie. 
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Summary 


Purpose 

Based  on  8  educational  concepts  (problem  based  learning,  competency  based  learning, 
part-skill  based  learning?  case  based  learning,  organization  learning,  learning  on  the 
workftoor  e-learning  and  frontal  learning)  a  tool  was  developed  in  2005  to  assist 
educators  in  designing  new  educational  and  instructional  methods.  The  tool  consists  of 
a  number  of  questions  that,  once  answered,  generate  an  advice  for  the  use  of  an 
educational  concept.  The  tool  is  now  in  an  advanced  phase  of  development  and  needs  to 
be  tested  on  its  contents  as  well  as  its  user  friendliness.  Validations  with  experts,  non¬ 
experts  and  a  group  of  apprentice  instructors  have  been  used  to  test  whether  the  tool 
works  as  desired. 

Method 

Three  educational  experts  have  been  asked  to  validate  the  content  the  educational 
concepts.  They  were  asked  to  validate  the  theoretical  depiction  of  the  educational 
concepts  based  on  their  own  experience  and  expertise.  Subsequently,  three  non-experts 
were  asked  to  actually  use  the  tool  so  that  user  friendliness  and  level  of  required 
professional  knowledge  could  be  established.  Finally,  a  group  of  29  apprentice 
instructors  have  used  the  tool  to  generate  an  advice  for  an  educational  concept. 

Results 

The  experts  largely  agreed  on  the  legitimacy  of  the  content  of  the  educational  concepts 
that  were  presented  to  them.  The  non-experts  demonstrated  that  the  questions  in  the  tool 
needed  to  be  brushed-up  to  facilitate  a  plain  and  comprehensible  formulation.  This  was 
especially  true  for  the  questions  that  contained  jargon.  On  a  whole,  it  could  be 
established  that  the  tool  has  a  potent  capacity  to  generate  suitable  educational  advices 
for  the  group  of  apprentice  instructors. 

Conclusion 

We  may  conclude  that  the  content  of  the  educational  concepts  is  principally  valid  and 
just.  Inconsistencies  between  the  judgments  of  educational  experts  seem  to  indicate  that 
that  there  can  be  line  distinctions  between  the  theoretical  depiction  and  the  practical 
implementation  of  a  concept.  This  is  consistent  with  the  findings  of  of  the  literature 
research  (Theunissen  et  aL  2005).  This  validation  has  shown  that  the  developed  tool  is 
adept  at  advising  suitable  concepts  for  educational  purposes.  A  slight  obstacle  is  that  the 
tool  is  not  flawless  in  its  advice  w  hen  the  profiles  of  the  educational  concepts  are 
factually  related.  To  resolve  this,  the  tool  might  contain  more  questions  that  investigate 
the  details  of  the  educational  concept.  The  tool  can  then  contribute  to  the  unequivocality 
of  concepts  writhin  the  organization. 


TNO-rapport  |  TNO-DV  2007  A1 1 1 


6/29 


Inhoudsopgave 


Managcmcntuittreksel . * . . . . . . . . . . . .  2 

Sameti vat  ting . . . . . . . . . . . . ....4 

Summary . . . . . . . . . . . . . . . . . , . 5 

1  Inleiding... . . . . . . . . . . . . . 7 

2  Doe  1st  ell  in  g . . . . . . „„8 

2 .1  Onderzoeksvragen  ...... . .. . .. . ...... . . . . . 8 


3  Werkwijze  2006 

3.1  Validiteit  deel  1  . 

3.2  Validiteit  deel  2  . 

3.3  Acceptatie.. 


12 

12 

13 

13 


4  Result  a  ten.. . . . 14 

4.1  validiteit  deel  1 . 14 

4.2  Validiteit  deel  2  . . 15 


5  Conclusies  en  discussie* . * . * . . . . . . . . . 24 

5.1  Validatie  deel  I . . 24 

5.2  Validiteit  deel  2  . . . . . . . . .. . . . 25 

5.3  Algemeen... . . ....27 

6  Ondertekening . . . 29 


Bijlage(n) 

A  Case  A 
B  Case  B 
C  Case  C 

D  Deelnemersformulieren 
F  Over/icht  profielen 


TNO-rappOrt  |  TNO-DV  2007  A1 1 1 


7/29 


!  Inleiding 


Defensie  moet  zich  voorbereiden  op  verschillende  uiteenlopende  taken,  met  verminderde 
middeien  (budget,  menskracht,  materieel).  Daamaast  wordt  op  generiek  defensie  niveau 
{KLu*  KL  en  KM)  meer  samengewerkt  en  vindt  een  intensievere  afstemming  plaats  op 
bet  gebied  van  training  en  op  lei  ding.  Bovendien  is  de  instroom  van  nieuwe  medewcrkers 
veranderd.  Er  is  verder  sprake  van  toenemende  samenwerking  tussen  defensie  en 
ROC’a  in  de  vorm  van  voorsc hake  1  onderw ij s  (InstroomOpleidingen  voor  defensie; 
voorbeelden  zijn  OrientatieJaar  koninklijke  Landmaeht  (OJKL)  en  de  opleiding  tot 
Ass  isle  nt  Vrede  en  Veiligheid).  De  tendens  is  om  opleid  ingen  en  trainingen  nog  beter  af 
te  stemmen  op  de  wensen  en  eisen  van  de  doelgroep, 

Deze  ontwikkelingen  betekenen  onder  andere  dat  opleiding-  en  trainings- inter  verities 
binnen  defensie  meer  dan  ooit  efficient  en  effectief  moeten  zijn. 

Passende  onderw  ijs(vernieuwings)concepten;  zouden  daarbij  een  belangrijke  impuls 
kunnen  betekenen.  Dit  betreft  innovaties  die  de  opieidingen  en  training  dusdanig 
beinvloeden  dat  er  vernieuwing  binnen  bet  opleiding-  en  trainingsproces  optreedt, 
Daamaast  betreft  het  ook  passende  vorrnen  van  onderw  ijs  dat  tot  een  beter 
opleidingseffect  leidt.  Een  onderw  ijs  vernieuwing  zal  daarom  moeten  leiden  lot 
verbetering  van  de  opleiding  of  training,  tot  bevordering  van  de  uitwisselbaarheid  en/of 
de  effecti vite it.  en  lot  verhoging  van  de  efficients. 

Om  zicht  te  krijgen  weike  consequenties  deze  ontwikkelingen  hebben  voor  het  opleiden 
binnen  de  Krijgsmaeht  wordt  onderzocht  welke  mogelijkheden  er  zijn  voor  passende 
onderw ijsconcepten  en  mogelijke  consequenties  hiervan  te  verkennen.  Daamaast  wordt 
gezocht  naar  mogelijkheden  om  opleiders  en  opleidingsontwikkelaars  te  ondersteunen 
Hierbij  w  ordt  gedacht  aan  ondersteuning  en  advisering  bij  het  maken  van  gefundeerde 
keuzes  van  passende  onderwijsconcepten. 


i 


Onderwijs(vcmeuvdngs>corK^pten  is  het  onderdeel  ‘vemieuwings’  tussen  haakjcii  gezet.  I  >ii  komt  dtxndat 
de  toepassingsplekken  binnen  defensie  verschillcn  war  betreft  ervaring  met  de  diverse  concepten.  I>e  <5dn 
kan  ervaring  hebben  mei  een  concept  dar  voor  een  ander  vemieuwend  is  (zie  Metis  &  Vekltum,  2lX)6 J, 


TNO-rapport  |  TNO-DV  2007  A1 1 1 


8/29 


2  Doelstelling 


De  in  dit  document  beschreven  studie  maakt  dee!  uit  van  het  4-jarig  project 
onderwijs(vernieuwmgs)concepten.  Doe!  van  dit  project  is  om  in  kaart  te  brengen  we  Ike 
onderwjjs(vernieuwings)concepten  geschikt  zijn  voor  de  krijgsmacht  opleidingen. 

Door  deze  concepten  te  beschrijven  en  te  verkennen,  kunnen  de  consequenties  voor  de 
Krijgsmacht  worden  beschreven. 

Het  resultant  van  deze  studie  geeft  de  aanzet  tot  de  ontwikkeling  en  implementatie  van 
specifieke,  op  geidentificeerde  onderwijs(vemieuwrings)concepten  gebaseerde.  bruikbare 
tools2.  Gedacht  werd  aan  (elektronische)  fbrmulieren  ter  ondcrsteuning  van  het 
analyseproces  van  opleidingsontwikkelaars,  uitleg  over  de  werkwijze  van  een 
onderwijsvernieuwingsconcept  en  dergelijke,  De  resultaten  kunnen  verder  worden 
gebruikt  voor  het  vergroten  van  de  samenwerklng  en  cohesie  tussen  de  krijgsmachtdelem 

2  A  Onderzoeksvragen 

Binnen  dit  project  worden  de  volgende  vragen  beantwoord: 

*  Welke  onderwdjs(  vernieuwings)concepten  kunnen  een  bijdrage  leveren  aan  de 
verbetering  van  het  opleidings-  en  trainingsproces? 

Bij  de  start  van  dit  project  is  geinventariseerd  welke  relevante  onderwijsfvernieuw  ings)- 
eoneepten  er  zijn.  Deze  moesten  niet  hype  gedreven  zijn  en  er  moest  in  meer  of  mindere 
mate  experimented  bewijzen  traceerbaar  zijn*  Hiervoor  is  een  literatuuronderzoek 
uitgevoerd.  Op  basis  van  deze  bevindingen  zijn  mogelijkheden,  beperkingen  en 
consequenties  voor  O&T  proces  in  kaart  gebracht  en  is  beschreven  op  welke  wijze  de 
onderwijs{vernieuwings)concepten  binnen  defensieorganisatie  ingepast  zouden  kunnen 
worden.  Daarnaast  is  een  workshop  georganiseerd  met  KL  experts  op  het  gebied  van 
opleiden  en  trainen  en  de  operationele  praktijk.  Deze  workshop  was  erop  gericht  om  te 
achterhalen  welke  implicaties  de  inpassing  van  de  onderwijs{vernieuwings)concepten 
heefi  voor  de  KL  organi  satie. 

*  Welke  implicaties  (mogelijkheden.  beperkingen  en  consequenties)  hebben  de 
inpassing  van  de  vemieuwingseoncepten  voor  opleiding  en  training  binnen  defens ie? 

*  Hoe  ziet  een  instrument  eruit  waarmee  opleidingsontwikkelaars  in  staat  worden 
gesteld  om  op  een  weloverwogen  wijze  een  geschikt  onderwijsvernieuwingsconcept 
te  kiezen? 

Dit  heeft  geieid  tot  een  beschrij ving  van  een  set  geschikte  onderwijsconcepten 
(Theunissen,  Melis,  Veldhuis  en  Bots,  2005).  Zie  voor  een  kort  inhoudelijk  overzicht 
van  de  concepten  label  1 .  Voor  een  meer  uitgebreide  beschrij  ving,  zie  bijlage  E. 


Tool  -  hulpmiddd  of  gereedschap. 
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Tabel  l  Onderwijs{  vemieu wings  )concepten> 


Onderwijsconcept  Uitleg 


Case  gebaseerd 
leren 

Probleem  gestuurd 
leren 


Competent!© 
gebaseerd  leren 


Leren  op  de 
werkplek 

Deelvaardigheict 
gestuurd  leren 

Organisatie  leren 


Frontaal 
gebaseerd  leren 

e-learning  / 
zelfstudie 


©-learning  / 
begeieid  leren  op 
afstand 


Een  case  beschrijft  een  (realistische)  situatie.  De  case  beschriiving  is 
gestructureerd,  en  biedt  de  deelnsmers  houvast  door  middei  van 
relevant©  informal!©,  feiten  over  situatie,  proces,  en  randvoorwaarden. 

De  cursist  wordt  geconfronteerd  met  een  realistisch  probleem  in  een 
(gesimuleerde)  werkomgeving  of  leertocatie  los  van  de  werkplek. 
Cursisten  krijgen  weinig  of  geen  structuur  aangeboden  en  zijn  op  zichzelf 
(eventueel  in  teams)  aangewezen. 

Cursisten  oefenen  in  realistische  praktijksituaties  waarbij  zij  kennis, 
vaardigheden  en  houdingsaspecten  gelntegreerd  krijgen  aangeboden. 

Er  wordt  met  name  gericht  op  bet  aanbeiden  van  de  nog  ontbrekende 
competences, 

De  cursist  [eert  terwijt  hij/zij  aan  het  werk  is.  Soms  kan  dft  ook 
piaatsvinden  in  een  gesimuleerde  werkplek.  De  aandacht  gaat  hier  uit 
naar  het  aanvullen  van  ontbrekende  kennis,  vaardigheden  en  houdingen. 

Een  complex©  vaardigheid  wordt  in  kleinere  (losse)  behapbare  delen 
geoefend. 

In  een  werksituatie  wordt  gediscussieerd  over  aspecten  van  het  werk 
middels  bijeenkomsten  of  (op  afstand)  via  digitale  sessies. 

Deelnemers  zoeken  elkaar  op,  of  worden  uitgenodigd  deal  te  nemen, 
wanneer  bepaalde  onderwerpen  moeten  worden  behandeid. 

Het  overdragen  van  kennis  aan  een  groep.  Veelal  via  kiassieke 
methoden  2oals  klassikale  insfructie  en  verwerking 
Leren  dat  uitsluitend  wordt  ondersteund  door  elektronische  middelen 
(computer,  internet).  Cursisten  kunnen  op  eigen  initiatief  en 
verantwQordeiijkheid  de  leerstof  tot  zich  nemen.  De  lesstof  wordt 
aangeboden  via  programme's  via  een  netwerk  (bijv,  internet)  . 

Een  combinatie  van  e-learning  zoals  hierboven  beschreven  en  een 
tweede  concept  (bijv.  case  gebaseerd  leren  via  internet).  De  cursist  wordt 
begeieid  tijdens  het  leerproces  door  een  instructeur  op  afstand. _ 


Bij  het  identificeren  van  de  9  eoncepten,  is  naar  de  spec! fi eke  inhoud  van  de  eoncepten 
gekeken.  Hieruit  bleek  dat  een  aantal  eoncepten  inhoudeiijke  overlap  met  elkaar  heeft. 
Zo  geldt  bijvoorbeeld  voor  zowel  probleem  gestuurd  leren  a  Is  case  gebaseerd  leren  dat 
de  cursist  leert  door  om  te  gaan  met  (voorbeeld)casussen.  Leren  op  de  werkplek  en 
probleem  gestuurd  leren  kunnen  allebei  gebmik  maken  van  (gesimuleerde)  probleem 
situaties  aan  de  hand  waarvan  een  cursist  leert.  Deelvaardigheid  gestuurd  leren  en  leren 
op  de  werkplek  faeiliteren  beide  het  leren  door  de  cursist  te  confronteren  met 
praktijktaken.  Bij  case  gebaseerd  en  deelvaardigheid  gestuurd  leren  heeft  de  instructeur 
de  leiding  over  de  voortgang  van  het  leerproces,  Het  kan  dus  zijn  dat  bepaalde  facetten 
van  een  onderwijs( vernieu wings )concept  inhoudeiijke  overeenkomsten  hebben  met 
facetten  van  een  ander  concept.  In  bijlage  E  is  een  overzicht  opgenomen  van  de 
verschillende  facetten  per  concept. 

Op  basis  van  de  bevindingen  in  het  eerste  projeetjaar  zijn  voor  de  Koninklijke 
Luchtmacht  (KLu}  en  Marine  (KM)  workshops  georganiseerd.  Tijdens  deze  workshops 
is  achterhaald  welke  implicaties  de  gepresenteerde  vernieuwingsconcepten  hebben  voor 
beide  Krijgs  mac  hide  len,  De  bevindingen  van  de  KLu-.  KM-  en  KL- workshop  zijn  met 
elkaar  vergeleken.  Daamaast  is  gestalt  met  de  beschrijving  en  ontwikkeling  van  een 
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concept! nstru merit  ter  ondersteuning  van  opleiding-  en  trainingsontwikkeiaars 
(Metis  en  Veldhuis.  2006), 

Het  instrument  biedt  in  een  gebruikersvriendelijke  interface  een  vragenlijst  aan  met 
daarin  vragen  over  de  (gewenste)  opleiding.  Een  gebruiker  kan  in  keuzemenu's 
aanvinken  welke  inrichtingskeuzes  passen  binnen  het  lespro gramma  dat  hij/z.ij  voor 
ogen  heeft  (zie  figuur  ! ).  Op  basis  van  de  antwoorden  genereert  het  instrument  twee 
adviezen  waarin  de  meest  passende  onderwijsfvemieuwingsiconcepten  worden  getoond. 
In  deze  adviezen  wordt  een  uitgebreide  toelichting  gegeven  op  de  eisen,  toepassingen 
en  kenmerkende  aspecten  van  het  betreffende  onderwijs(vernieuwings)concept 
(zie  figuur  2).  Zo  heeft  de  gebruiker  een  duidelijk  beeld  van  het  onderwijsconcept  en  kan 
hij  of  zij  beoordelen  of  het  inderdaad  past  bij  de  eisen  en  wensen  voor  het  lesprogramma. 


■i0  0e  Edit  iCn  Insert  Fermat  Tools  gate  Window  yelp 

<i-o  ■  %  z 


K102 


ii  i  V  |  Afi*1 


-  11  *  1 


Vragen 


1  Hoeveel  deeinemers  volgen  de  opleiding  per  keer’* 


3  Hoeveel  deetnemars  volgen  de  opleiding  (per  jaar)? 


4  De  opleiding  richt  rich  (voor  90*4)  op: 


6  Welke  rot  wordt  van  de  Instructeur  verwacht  binnen  deze 
opleiding? 


Rguur  I 


Interface  instrument:  vragen. 
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I  i  gu  u  r  2  I  nt  c  rface  in  st  runic  n! :  ad  v  ics. 


Het  genereren  van  een  advies  gebeurt  op  basis  van  berekeningen  die  per  antwoord 
worden  gegeven  Elk  antwoord  wordt  omgezet  in  een  bepaald  aantal  punten  (of 
minpunten)  per  ondemijs( vernieuwings )concep(.  Zo  kan  het  zijn  dat  in  de  kenze  voor 
de  inriehiing  van  het  lesprogramma  de  nadruk  moet  tiggen  op  oefeningen  en  opdoen 
van  praktijkervaring.  Op  de  vraag  ‘waar  rieht  de  opieiding  zich  voornamelijk  op'  zal  het 
antwoord  ‘het  oefenen  van  vaardigheden*  dan  voor  de  hand  liggen. 

Onderwijsconcepten  zoals  deren  op  de  werkplek’  en  ‘deelvaardigheidgestuurd  leren' 
zullen  voor  dit  antwoord  punten  bijgeschreven  krijgen.  ‘e-learning  op  afstand'  kan  voor 
dit  antwoord  juist  minpunten  scoren. 

Het  conceptinstrument  wfordt  vervolgens  gevatideerd,  De  gekozen  aanpak  en  de 
be vind ingen  van  de  validatie  wordt  uiteengezet  In  deze  rapportage.  Het  idee  is  om  dit 
instrument  in  te  zetten  in  het  nieuw  te  ontwikkelen  GOTOS  (Geavanceerde 
Ondersteuning  voor  de  ontwikkeling  Opieiding  en  Training  Systeem:  de  vervanger  van 
GOOS).  Dit  instrument  zal  worden  gebruikt  door  KL  O&T-ontwikkelaars  bij  het  op 
gefundeerde  wijze  kunnen  kiezen  voor  van  een  geschikt  concept, 

De  resterende  project  peri  ode  (2007 )  wordt  besteed  aan  beantw  cording  van 
onderstaande  vragen; 

*  Op  welke  wijze  kunnen  de  ondenvijsvernieuwingconcepten  het  opieiding-  en 
trainingsproces  verbeteren? 

*  Hoe  zou  het  te  ontwikkelen  instrument  in  de  praktijk  implementeerbaar  zijn? 
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3  Werkwijze  2006 


Op  basis  van  de  bevind  ingen  van  eerdere  werkzaamheden  is  achterhaald  of  en  hoe  het 
nieuw  ontwikkelde  conceptinstrument  werkt  en  word!  gewaardeerd.  Daarom  is  het 
instrument  gevalideerd.  De  validatie  bestond  uic  drie  delen,  Eersi  zijn  de  coneepten  die 
gebruikt  zijn  voor  het  instrument  getoetst  op  inhoudeiijke  juistheid,  Daama  werd 
gekeken  naar  de  gebruikersvriendelijkheid  van  het  instrument.  Dit  was  het  eerste  deel 
van  de  validitie.  Vervolgens  is  de  tool  zelf  getest:  validatie  deel  2.  Het  derde  deel  richt 
zich  op  de  accpetatie  door  potentiele  gebruikers.  De  genoemde  validaties  worden 
hieronder  toegelicht. 

3.1  Validiteii  deel  1 

De  eerste  validatie  dient  vooral  om  te  bevestigen  dat  de  inhoud  van  een  bepaald 
onderwijsconcept  overeenkomt  met  het  oordeel  van  een  expert.  Zodoende  kan 
beredeneerd  worden  dat  wanneer  een  onafhankelijke  onderwijsdeskundige 
onderwijsconcepten  toeschrijft  aan  de  cases  die  overeenkomen  met  de  beoogde 
onderwijsconcepten,  dat  dit  gezien  kan  worden  als  bevestiging  van  de  inhoudeiijke 
zuiverheid  van  de  gehanteerde  onderwijsconcepten,  Om  dit  te  meten  zijn  drie  cases 
opgesteld  die  lessituaties  binnen  defensie  gedetailleerd  omschrijven.  De  inhoud  van  de 
beschreven  situaties  is  direct  gebaseerd  op  een  onderwijs(vernieuwings)concepL 
Uitgangspunt  bij  het  beschrijven  van  de  cases  was  de  theoretische  achtergrond  en 
kenmerken  van  een  onderwijsconcept,  zoals  gebruikt  voor  het  ontwikkelen  van  de  tool. 
De  cases  vormen  dus  een  representatie  van  een  iessituatie  op  basis  van  een  van  de 
onderwijs(vemieuwings)situaties  (zie  bijlagen  A  t/m  C  voor  de  case  beschrijvingen), 

hi  het  eerste  deel  van  de  validatie  hebben  drie  onderwijskundige  experts  de  drie 
verschillende  cases  voorgelegd  gekregen.  De  cases  omschreven  een  onderwijssituatie  of 
les module  binnen  defensie,  De  experts  beoordee !den  de  cases  op  basis  van  hun 
onderwijskundige  expertise  en  maakten  vervolgens  een  eerste,  en  een  tweede  keuze 
voor  een  onderwijsconcept  dat  naar  hun  idee  het  meest  van  toepassing  was  bij  de  case. 
Ter  ondersteuning  kregen  zij  een  lijst  met  mogelijke  onderwijsconcepten  inclusief  een 
korte  definiering  van  het  beueftende  onderwijsconcept.  De  uitkomsten  van  de  drie  experts 
zijn  met  elkaar  verge leken  op  consistentie  (zie  voor  weergaven  hiervan  vergelijking  1 . 
figuur  3). 

Daamaast  beoordeelden  drie  niet-onderwijskundigen  de  drie  cases  aan  de  hand  van  het 
instrument.  De  niet-onderwijskundigen  kregen  de  opdracht  een  case  zorgvuldig  door  te 
lezen  en  vervolgens  de  vragen  in  het  instrument  in  te  vullen*  Dit  deden  zij  voor  alle  drie 
cases.  Op  basis  van  de  gegeven  antwoorden  genereerde  het  instrument  per  case  een 
ad  vies  voor  het  meest  passende  en  dus  geschikte  onderwijsconcept.  De  resultaten  van 
deze  niet-onderwijskundigen  werden  met  elkaar  vergeleken  op  interne  consistentie 
(vergelijking  2.  tiguur  3).  Daamaast  werd  aan  de  niet-onderwijskundigen  gevraagd  om 
aan  te  geven  waar  voor  hen  eventuele  moeilijkheden  zaten  in  het  beantwoorden  van  de 
vragen. 
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Vergelijking  1 


Vergelijking  2 


Figuur  3  Schemausche  weergave  validalic  instrument;  deel  L 

Naar  aanleiding  van  bevindingen  tijdens  het  toeisen  van  de  deel  1  zijn  een  aantal 
aanpassingen  gemaakt  aan  de  cases,  en  aan  het  instrument  (zie  "conclusie  en  discussie’ ). 
De  interne  validiteit  is  na  het  maken  van  deze  aanpassingen  getoetst 

3.2  Validiteit  deel  2 

In  deel  2  van  de  validatie  werden  twee  groepen  cursisten  van  de  opleiding  tot  instructeur 
hij  de  SLO,  te  Budel  gevraagd  om  het  instrument  te  gebruiken  en  te  beoordelen. 

In  de  instructie  werd  de  nadruk  gelegd  op  het  feit  dal  de  deelnemers  zelf  niel  getesl 
werden  maar  dat  zij  een  mogelijkheid  hadden  om  het  instrument  te  beoordelen, 

A  lie  29  deelnemers  kregen  dezelfde  3  cases  en  deze  If  de  interface  voorgelegd, 

De  deelnemers  kregen  de  instructie  om  per  case  de  vragen  uit  het  instrument  te 
beantwoorden.  Nadat  een  case  behandeld  was.  kreeg  de  cursist  te  zien  we  Ik  ad  vies  het 
instrument  gegenereerd  had  op  basis  van  de  ingevulde  vragen.  Vervolgens  werd  de 
cursist  gevraagd  om  dit  advies  kritisch  te  beoordelen.  Hiertoe  kreeg  de  cursist  een  lijst 
met  onderwijsconeepten  die  inhoudelijk  overlap  hadden  met  het  concept  dat  voor  hen 
door  het  instrument  was  geselecteerd.  Aan  de  hand  van  deze  lijst  werd  hen  gevraagd  of 
zij  zelf  een  andere  keuze  hadden  gemaakt  dan  het  instrument.  Dit  proces  herhaalde  zich 
voor  de  drie  cases. 

Naar  aanleiding  van  bevindingen  tijdens  het  toetsen  van  de  eerste  groep  van  14 
deelnemers,  zijn  een  aantal  aanpassingen  gemaakt  zowel  in  de  vorm  van  aanbieden  a  Is 
aan  het  instrument  zelf.  Deze  aanpassingen  hadden  betrekking  op  de  onderliggende 
structuur  van  het  instrument:  nameltjk  het  berekenen  van  de  matchingscores,  wat  leidt 
tot  een  advies  (zie  4conclusie  en  discussie*  voor  meer  informatie  hierover), 

Deze  veranderingen  hadden  geen  (zichtbare)  gevolgen  voor  de  deelnemers. 

De  verwerking  van  de  antwoorden  is  op  eenzelfde  wijze  uitgevoerd  voor  beide  groepen 
waardoor  zij  samen  ge nomen  mogen  worden  voor  de  interpretatie  van  de  data. 

3.3  Acceptatie 

De  derde  validatie  (acceptatie)  zal  in  2007  plaatsvinden. 
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4  Resultaten 


De  resultaten  worden  hieronder  gepresenteerd.  Er  zijn  hiervoor  drie  eases  gebruikt. 

Case  A  omschrijft  een  leersetting  waar  deelvaardigheidsgestuurd  leren  centraal  staat. 

In  case  B  wordt  een  probleemgestuurde  ieersetting  beschreven.  Case  C  ten  slotte, 
beschrijt't  een  situatie  met  leren  op  de  werkplek.  Het  gebruikte  materiaal,  zoals  de  cases 
en  antwoordformulieren,  zijn  in  bijlagen  A  t/m  D  toegevoegd. 

4.1  V aliditeit  dee)  1 

Per  case  hebben  de  onderwijsdeskundigen  een  eerste  en  tweede  keus  gemaakt. 

Wanneer  hun  keuze  overeenkwam  met  het  daadwerkelijk  beschreven  onderwijsconcepi, 
is  dit  gemarkeerd  als  ‘100%  overeenkomst'.  Omdat  onderwijsconcepten  vaak  overlap 
hebben  onderling,  was  het  denkbaar  dat  de  experts  een  vergelijkbaar  altematief 
onderwijsconcepi  zouden  kiezen.  Het  instrument  zelf  adviseert  per  slot  ook  een 
altematief  onderwijsconcepi  (een  2Jc  keus).  Daarom  hebben  wij  de  experts  om  een 
tweede  keuze  gevraagd.  Wanneer  een  expert  voor  dit  vergelijkbare  altematief  koos. 
hebben  wij  deze  keuze  gemarkeerd  als  een  ‘acceptabele  overeenkomst'.  De  groen 
gemarkeerde  vakjes  in  tabel  2  zijn  dus  de  vakjes  die  idea  liter  de  meeste  kruisjes 
bevatten. 


Tabe  J  2  keu/es  gemaakt  dmi  r  and  erw  ij  sku  nd  i  ge  e  xpc  rt  s . 


Case  A 

Case  B 

Case  C 

r  advies 

2e  advies 

I6  advies 

2"  advies 

1*  advies 

2*  advies 

1 00%  overeenkomst 

xxx 

xxx 

X.X 

X 

Acceptabele  overeenkomst 
(2**  advies) 

x,x 

xxx 

X 

X 

Weinig  overeenkomst 

X 

X 

Opvallend  is  dat  het  oordeel  van  de  onderwijsdeskundigen  overeenkwam  met  het 
daadwerkelijk  beschreven  concept  voor  de  case  A.  Ook  hun  tweede  keuze  was  in  twee 
van  de  drie  gevallen  in  overeenkomst  met  onze  verwachtingen.  Bij  de  case  B  kozen 
alledrie  onderwijsdeskundigen  in  eerste  instantie  voor  het  altematieve  onderwijsconcepi 
(case  gebaseerd  leren)  en  hun  tweede  keus  kwam  weer  overeen  met  wat  de  eerste  keus 
zou  moeten  zijn.  Ook  voor  de  case  C  gold  dat  de  eerste  en  tweede  keuze  omgekeerd 
werden  ingevuld  door  een  van  de  onderwijsdeskundigen.  In  totaal  is  twee  maal  door  de 
experts  ge kozen  voor  een  onderwijsconcept  dat  wreinig  overeenkomst  had  met  de 
beoogde  onderwijsconcepten.  Het  oordeel  van  de  experts  correspondeert  met  de 
bevindingen  uit  de  literatuur  (Theunissen  et  al.,  2005),  In  de  literatuur  werd  gevonden 
dat  sommige  onderwijsconcepten  inhoudelijke  overlap  hebben.  De  uitkomsten  van  het 
voorleggen  van  een  aantal  concepten  aan  experts  bevestigd  dit. 

De  niet-onderwijskundigen  hebben  aan  de  hand  van  dezelfde  drie  cases  het  instrument 
gebruikt  om  een  advies  te  genereren.  Deze  resultaten  laten  zien  in  hoeverre  het  instrument 
voor  een  non-expert  nog  bruikbaar  zou  kunnen  zijn.  Het  instrument  gaf  een  eerste  en 
een  tweede  keuze.  Wanneer  het  advies  overeenkwam  met  het  daadwerkelijk  beschreven 
onderwijsconcepi.  is  dit  wederom  gemarkeerd  als  '100%  overeenkomst'.  Wanneer  het 
instrument  een  advies  gaf  dat  afweek  van  het  beoogde  onderwijsconcept  maar  wrat 
inhoudelijk  wel  veel  overlap  had  met  dit  concept,  hebben  wij  dit  advies  gemarkeerd  als 
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‘aceeptabele  overeenkomst',  De  adviezen  voor  de  niet-ondenvijskundigen  staan  per 
case  gepresenteerd  in  label  3. 


label  3  Gegenereerde  ad  vies  doorde  niet-oiKlerwijskundigeri. 


Case  A 

Case  B 

CaseC 

1*  advies 

advies 

1 a  advies 

2e  advies 

1°  advies 

2g  advies 

100%  overeenkomst 

X 

X 

XXX 

Acceptabele  overeenkomst 
(2““  advies) 

XX 

X 

X 

X 

Weinig  overeenkomst 

X 

XX 

XX 

X 

XX 

Voor  de  cases  A  en  B  geldt  dat  het  instrument  in  eerste  instantie  niet  de  verwaehte 
adviezen  genereerde,  Wet  werd  een  aantal  keer  een  advies  met  inhoudelijke  overlap 
verkregen.  Voor  case  C  werd  driemaal  het  meest  passende  advies  gegeven.  Na  afloop 
en  tijdens  het  invullen  van  het  instrument  werd  de  non-expens  gevraagd  hoe  zij  het 
gebruik  van  het  instrument  ervoeren.  De  niet-onderwijsk  undigen  gaven  aan  te  struikelen 
over  veel  van  de  vaktermen  en  jargon  die  in  het  instrument  gebruikt  werd.  Ook  wfaren 
sommige  vraagstellingen  voor  hen  onduidelijk  geformuleerd  waardoor  zij  moeite 
hadden  een  antwoord  in  te  vullen,  Aan  de  hand  van  de  resultaten  van  deze  validatie  zijn 
aanpassingen  gemaakt  in  het  instrument  Zie  hiervoor  'conclusie  en  discussie'. 

4.2  Validiteit  dee!  2 

In  totaal  hebben  29  deelnemers  elk  drie  cases  bestudeerd  en  het  instrument  gebruikt  om 
een  advies  te  genereren  over  het  best  passende  onderwijsconcept.  Vervolgens  is  dit 
advies  kritisch  besehouwd  door  de  deelnemers  waarbij  zij  de  mogelijkheid  hadden 
eveniueel  a  is  nog  te  kiezen  voor  een  alternatief  onderwijsconcept.  Hieronder  worden 
alleen  de  data  zeals  gegenereerd  door  het  instrument  gepresenteerd,  Eventuele  keuzes 
van  de  deelnemers  om  een  advies  te  wijzigen  worden  daarna  apart  vermeld.  Hoe  we  l  het 
instrument  standaard  twee  adviezen  genereert  (een  eerste,  meest  passende  keuze  en  een 
alternative,  tweede  keuze),  werd  tijdens  de  validatie  alleen  het  eerste  advies  getoond 
aan  de  deelnemers.  Het  tweede  advies  diende  in  deze  validatie  alleen  a  Is  input  voor  de 
analyse.  Deze  keuze  is  gemaakt  om  de  deelnemers  niet  extra  te  belasten.  A1  deze 
gegevens  zijn  gedocumenteerd  en  worden  afzonderlijk  per  case  besproken. 


TNO-rapport  |  TNO-DV  2007  A1 1 1 


16/29 


Case  A  omschreef  een  leersetting  waar  deelvaardigheid  gestuurd  leren  centraal  stond. 
Figuur  4  laat  zien  dat  24  deelnemers  ook  ‘deelvaardigheid  gestuurd  leren'  als  eerste 
advies  kreeg.  Drie  anderen  hadden  dit  als  alternate  ve  keuze  {het  tweede  ad  vies). 

In  totaal  hebben  dus  27  deelnemers  deelvaardigheid  geadviseerd  gekregen*  wat  betekent 
dat  93%  van  de  respondenten  dit  advies  (als  eerste  of  tweede  keuze)  krijgt  gepresenteerd 
(zie  bijlage  A  voor  casebeschrijving  A). 

Case  A 


Deelv, 

-  Deelvaardigheid  gestuurd  leren 

WerkpL 

=  Leren  op  de  Werkpfek 

Elearn. 

=  E-learning 

Comp. 

-  Competenliegericht  leren 

Case  b. 

=  Case  Gebaseerd  Leren 

Front. 

=  Frontaal  leren 

Figuur  4  Advies  Case  A. 


Als  eerste  advies  is  ievens  viermaal  leren  op  de  werkplek’  en  eenmaal  ‘e-learning’ 
gegenereerd. 
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In  case  B  werd  een  probleem  gestuurde  aanpak  beschreven.  Toch  kregen  elf  deelnemers 
als  eerste  advies  'deelvaardigheid  gcstuurd  Icrcn’  (zie  figuur  5).  Een  minder  groot 
aantal  deelnemers.  namelijk  negen.  kreeg  wet  probleem  gestuurd  leren  als  eerste  advies. 
Drie  deelnemers  kregen  dit  advies  als  tweede  keuze  aangereikt.  Dus  in  totaal  41%  van 
de  deelnemers  kreeg  het  beoogde  onderwijsconcept  geadviseerd. 

Case  B 


Deelv.  PGL.  Comp.  CaseB.  Org.  Werkpl  Front. 


Deetv. 

=  Deelvaardigheid  gestuurd  leren 

PGL 

-  Probleem  gestuurd  leren 

Comp. 

=  Competentiegericht  leren 

Case  b. 

=  Case  Gebaseerd  leren 

Org. 

=  Qrganisatie  leren 

Werkpl. 

=  Leren  op  de  werkplek 

Front. 

=  Frontaal  leren 

Figuur  5  Advies  Case  B. 
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De  laatste  case,  case  C  (zie  flguur  6)  beschreef  een  leers  ituaiie  waarin  leren  op  de 
werkplek  centraal  stood.  De  meerderheid  van  de  deelnemers  (20)  bee  ft  dit  concept  ook 
als  eerste  ad  vies  gekregen,  Nog  eens  drie  deelnemers  kreeg  ieren  op  de  werkplek1  als 
tweede  advies.  Dit  betekent  dat  79%  het  beoogde  advies  kreeg  gepresenteerd,  Een  aantal 
deelnemers  kreeg  deelvaardsgheid  gestuurd,  compete ntiegericht  en  frontaal  gebaseerd 
leren  als  eerste  advies.  De  meeste  deelnemers  hebben  deelvaardigbeid  en  competent ie 
gebaseerd  leren  als  tweede  advies  gekregen. 

Case  C 


Werkpl.  = 

Leren  op  de  werkplek 

Deelv.  m 

Deelvaardigheid  gestuurd  leren 

Comp,  = 

Competentiegericht  leren 

Front.  = 

Frontaal  leren 

Caseb.  = 

Case  Gebaseerd  leren 

Probl.  = 

Pro b  lee  m  gestuurd  leren 

E  learn.  = 

L- learning 

1 1  guu  r  6  Ad  vie  s  Case  C. 
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De  resultaten  verschillen  per  onderwijsconcept  /  case.  In  figuur  7  staan  schematise!!  de 
percentages  weergegeven  van  de  ‘correcte*  adviezen  per  case.  Hierin  wordt  zichtbaar 
dat  voor  case  A  {deelvaardighetd  gestuurd  leren)  en  case  C  (leren  op  de  werkplek)  bet 
beoogde  ad  vies  in  ruim  meer  dan  de  he  [ft  van  de  gevatlen  a  is  eerste  ad  vies  wordt 
gegeven.  Daamaast  wordt  in  10%  van  de  gevallen  het  juiste  advies  alsnog  gegeven  als 
tweede  keuze.  Voor  case  B  (probleem  gestuurd  leren)  geldt  dat  het  beoogde  advies 
slechts  voor  30%  van  de  deelnemers  wordt  gegenereerd. 


Beoogde  concept  was  1  e  Beoogde  concept  was  2e  Beoogde  advies  werd  niet 
advies  advies  gegeven 


Figuur  7  W'ordi  Kci  beoogde  advies  gegeven? 

De  spreiding  van  de  cases  (figuur  8)  zegt  iets  over  in  hoeverre  de  29  deelnemers 
overeenkomstige  adviezen  gegenereerd  hebben.  De  'doelscore*  (het  gegenereerde 
percentage  van  het  beoogde  advies)  is  gedeeld  door  het  percentage  van  het  daadwerkelijk 
gegenereerde  advies  (*eerste  advies’)  om  hier  inzicht  in  te  verse  haffen,  Voor  case  A 
geldt  dat  er  weinig  spreiding  is  en  dus  grote  eensgezindheid  wat  betreft  de  adviezen. 
Bovendien  is  in  de  figuur  af  te  lezen  dat  men  gemiddeld  dicht  bij  het  beoogde  advies 
gescoord  heeft  Voor  case  B  is  het  gezien  de  resultaten  niet  verassend  dat  ook  de 
spreiding  vrij  groot  is,  Voor  veel  deelnemers  genereerde  het  instrument  een  ander  advies 
dan  verwacht.  De  spreiding  van  case  C  is  wel  verassend  rnaar  verklaarbaar  doordat  twee 
deelnemers  zeer  afwijkend  gescoord  hebben.  Hierdoor  is  de  spreiding  op  een  relatief 
kleine  groep  snel  verstoord. 


TNG-rapport  |  TNO-DV  2007  A1 1 1 


20/29 


Voor  elke  deelnemer  heeft  bet  instrument  per  case  een  matchscore  gegenereerd. 

Hoe  beter  de  gegeven  amwoorden  oveneenkomen  met  de  inhoud  van  een  bepaald 
concept,  hoe  hoger  het  'matchpercentage*  voor  dit  concept.  De  twee  concepten  met  het 
hoogste  match  percentage  warden  uiteindelijk  geadviseerd  a  Is  eerste  en  tweede  ad  vies. 
In  label  5  is  een  voorbeeld  weergegeven  van  de  match  score  van  een  deelnemer  die  het 
instrument  heeft  gebruikt  omeen  advies  te  genereren  voor  case  C.  Het  eerste  advies  is 
‘ leren  op  de  werkplek'  (matchpercentage  van  70,1%)  en  het  tweede  advies  is 
'compete ntie  gebaseerd  leren’  (matchpercentage  van  66,4%). 


Tabol  5  Voorbeeld  matchpercentages  van  een  deelnemer  voor  Case  C. 


Concept 

Match 

1 

leren  op  de  werkplek 

70,1% 

2 

competent!©  gebaseerd  leren 

66,4% 

3 

deeivaardigheid  gestuurd  leren 

54,2% 

4 

case  gebaseerd  leren 

41,9% 

5 

probleem  gebaseerd  teren 

38,8% 

6 

e-1  earning  /  zelfstudie 

38,3% 

j  7 

frontaal  gebaseerd  leren 

27,5% 

3 

organ  is  at  ie  leren 

25,9% 

9 

e-learning  /  begeleid  leren  op  afstand 

-26,4% 

Naast  de  eerste  twee  matchscores  die  het  eerste  en  tweede  advies  vormen,  is  het  ook 
interessant  om  naar  de  overige  matchscores  te  kijken.  Per  deelnemer  staat  namelijk 
weergegeven  in  hoevene  elk  concept  correleert  met  de  gegeven  antwoarden.  Het  kan  dus 
zijn  dat  het  advies  dat  op  de  derde  plaats  staat,  en  dus  met  word*  getoond,  alsnog  een 
(relatief)  hoog  matchpercentage  heeft  dat  dicht  bij  de  percentages  van  de  eerste  twee 
adviezen  ligL  Voor  de  gebruiker  is  deze  informatie  minder  relevant,  maar  voor  het 
toetsen  van  het  vermogen  van  het  instrument  is  dit  mteressant.  Tabel  6  laat  een 
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overzicht  zien  van  de  gemiddelde  matchpercentages  per  case  voor  alle  concepten, 
Gemiddeld  hebben  alle  deelnemers  dus  bij  het  invullen  van  case  B  een  match  van 
63.9%  gehad  met  het  concept  ‘deelvaardigheid  gestuurd  leren'.  Idealiter  wordt  het 
hoogste  percentage  toegekend  aan  het  ‘beoogde’  concept.  De  rode  omranding  in  de 
label  geeft  aan  waar  idealiter  de  hoogste  percentages  zitten  en  de  groen  gemarkeerde 
vakjes  geven  aan  waar  de  hoogste  percentages  daadwerkelijk  zitten,  Voor  case  A  en 
case  C  is  geldt  dat  de  deelnemers  gemiddeld  het  hoogste  percentage  kregen  toegewezen 
aan  het  beoogde  concept.  Voor  case  B  geldt  dat  men  een  hoger  percentage  kreeg 
toegewezen  aan  ‘deelvaardigheid  gestuurd  leren'  dan  aan  ‘probleem  gestuurd  leren'. 
Met  59,8%  is  staat  probleem  gestuurd  leren  op  de  tweede  plaats. 


Tatw  t  fi  Ge  midde  hie  m  atchperce  mage  s  pc  r  concept . 


Case  A 

Deelvaardigheid  gestuurd  leren 

Case  B 

Probleem  gebaseerd 

leren 

Case  C 

Leren  op  de 
werkplek 

Deelvaardigheid  gestuurd  leren 

72,4% 

63,9% 

557% 

Probleem  gebaseerd  leren 

31,4% 

59,8% 

29,0% 

Leren  op  de  werkplek 

57,9% 

47,6% 

58,4% 

Competentie  gebaseerd  leren 

56,7% 

54,5% 

49,3% 

Case  gebaseerd  leren 

50f5% 

56,2% 

43,6% 

Organisatle  lerenie 

39,6% 

45,7% 

28,2% 

Frontaal  gebaseerd  leren 

42,3% 

30,9% 

33,1% 

E-learning  /  zelfstudie 

37,2% 

20,7% 

33,3% 

E-leaming  /  begeteid  leren  op  afstand 

-21,5% 

-45,1% 

-41,9% 

Om  meer  inzicht  te  krijgen  in  de  vraag  waarom  sommige  deelnemers  niet  het  gewenste 
advies  genereren.  is  gekeken  naar  de  vragen  van  het  instrument.  Per  vraag  is  gekeken 
hoe  deze  over  het  geheel  genomen  beantwoord  is.  Enkele  vragen  uit  de  vragenlijst  van 
het  instrument  genereerden  zeer  uiteenlopende  antwoorden.  In  label  7  staat  per  vraag 
weergeven  hoeveel  procent  van  de  deelnemers  een  vraag  correct  heeft  beantwoord. 

Voor  sommige  vragen  geldt  dat  er  meerdere  antwoordmogelijkheden  konden  worden 
aangevinkt.  Deze  mogelijkheden  zijn  afzonderlijk  weergegeven  in  de  tabel.  De  groen 
gemarkeerde  percentages  (vanaf  65%)  geven  aan  dat  de  grote  meerderheid  deze  vraag 
correct  heeft  beantwoord.  Correct  betekent  in  deze  context  dat  het  antwoord 
overeenkomt  met  wat  vooraf  beoogd  werd  volgens  het  profiel  (zie  bijlage  E). 

Gee l  gemarkeerde  percentages  geven  aan  dat  tussen  de  35%  en  65%  van  de  deelnemers 
de  vraag  juist  hebben  beantwoord.  Rood  gemarkeerde  percentages  geven  aan  dat  een 
sterke  minderheid  (minder  dan  35%)  de  vraag  correct  heeft  beantwoord. 

Een  aantal  vragen  werden  door  een  grote  meerderheid  hetzelfde  ingevuld.  Dit  betreft  de 
vragen  1,  2.  7,  13  en  14.  Een  aantal  vragen  zijn  door  de  meeste  deelnemers  anders 
ingevuld  dan  gehoopt.  zoals  de  vragen  3  en  6.  Soms  varieert  het  percentage  correct 
beantwoorde  vragen  per  case.  Voor  case  C  is  vraag  5  bijna  in  het  geheel  door  de 
overgrote  meerderheid  niet  correct  ingevuld.  Vraag  8  daarentegen  is  door  de  meerderheid 
van  de  deelnemers  geheel  naar  wens  ingevuld.  Dit  geldt  ook  voor  vraag  7  en  vraag  1 2. 
Voor  case  B  geldt  dat  vraag  1 1  grotendeels  correct  is  ingevuld  maar  dat  vraag  4  en 
vraag  10  niet  erg  sterk  scoorden  voor  deze  case.  Voor  case  A  geldt  dat  vraag  9  vrij  goed 
is  beantwoord,  net  als  6.  Vraag  10  is  de  minst  sterke  vraag  voor  deze  case. 
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Tahd  7  Percentage  deelnemers  met  con  correct  amwoord;  weergegeven  per  vraag. 


CASE  A: 

CASE  8 

CASEC 

DeeivaardigheitJ  gestuurd  leren 

Probleemgebaseerd  leren 

Leren  op  de  w> 

erKpiek 

X  correct 


38% 


K3S3 


55% 


11 


59% 


62% 


X  corrtcl 


52% 


59% 


100% 

28% 

69% 


52% 

10  62% 
38% 
59% 


45% 

100% 

5  41% 


48% 


k Eaa 


12 

13 

14 


41% 


55% 


59% 

97% 

79% 

52% 


m 


93% 

48% 


100% 

93% 

100% 

100% 


De  data  uit  label  7  dient  er  vooral  toe  om  in  een  vervolgtraject*  waarin  het  instrument 
verbeterd  wordt,  inzicht  te  kunnen  geven  waar  de  vragen  mogelijk  nog  verder 
aangescherpt  kunnen  worden, 

fir  is  in  de  interpretatie  van  de  data  gecorrigeerd  op  leeftijd.  sekse  en  aantal  jaren 
werkzaam  bij  OTC  Gekeken  is  of  er  significance  effecten  zijn  die  invloed  hebben  op 
bet  hoofdeffect  zijn  als  je  deze  factoren  meeneemt  als  covariaat  Voor  geen  van  deze 
factoren  is  gebleken  dat  zij  een  effect  hebben  gehad  op  het  gemeten  hoofdeffect 
{het  gegenereerde  ad  vies). 
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Alle  deelnemers  hebben  nadat  zij  een  advies  hebben  gekregen  van  het  instrument,  de 
gctegenheid  gekregen  om  hier  op  te  reflectcren.  Op  een  apart  vel  papier  mochten  zij 
aangeven  of  zij  het  eens  waren  met  het  advies  dat  het  instrument  had  gegeven,  en  we  Ik 
alternatief  concept  zij  zelf  hadden  gekozen.  Voor  case  A  hebben  in  totaal  hebben  zes 
deelnemers  het  advies  dal  zij  van  het  instrument  kregen  achteraf  gewijzigd.  Vijf  mensen 
hadden  het  oorspronkelijke  advies  'deelvaardigheid  gestuurd  leren\  en  hebben  dit 
willen  veranderen  in  vier  keer  ‘competence  gebaseerd  lereni  en  een  keer  in  'probleem 
gestuurd  lereni  Een  persoon  kreeg  het  advies  'e-learing\  en  heeft  dit  willen  veranderen 
in  ieren  op  de  werkplek\  Van  de  deelnemers  die  voor  case  B  niet  'probleem  gestuurd 
Ieren1  (het  beoogde  concept)  als  advies  kregen,  hebben  er  12  aangegeven  dat  zij  zelf  een 
ander  alternatief  zouden  kiezen.  Vier  verkozen  'probleem  gestuurd  Ieren1  boven  hun 
eerste  advies.  Vijf  deelnemers  kozen  voor  'ease  gebaseerd  Ieren1,  en  drie  deelnemers 
‘competence  gebaseerd  Ieren’.  Twee  andere  deelnemers  verkozen  'competentie 
gebaseerd  Ieren’  en  'case  gebaseerd  Ieren1  boven  het  gegenereerde  eerste  advies  van 
‘probleem  gestuurd  Ieren1.  Voor  case  C  hebben  vier  deelnemers  naar  aanleiding  van  het 
eerste  advies  aangeven  dat  zij  zelf  voor  'Ieren  op  de  werkplek'  zouden  kiezen. 

Drie  andere  deelnemers  hadden  een  voorkeur  voor  'probleem  gestuurd  Ieren i\ 
‘deelvaardigheid  gestuurd  Ieren1  en  ‘competentie  gebaseerd  Ieren1  in  plants  van  hun 
eerste  advies  ieren  op  de  werkplek'. 
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5  Conclusies  en  discussie 


Welke  conclusies  mogen  uii  de  resultaten  van  onze  validatie  getrokken  worden  en 
welke  consequenties  hebben  zij  tot  gevolg  gehad? 

5.1  Validatie  dee!  1 

De  achtergrondtheorie  van  de  onderwijsvernieuwingconcepten  die  is  gebruikt  om  de 
tool  te  ontwikkelen,  is  ook  gebruikt  om  de  inhoud  van  de  cases  vorm  te  geven. 

Voor  case  A  en  C  bevestigde  het  oordeel  van  de  experts  de  inhoudelijke  zuiverheid  van 
de  gehanteerde  concepten,  De  experts  toonden  eensgezindheid  in  het  beoordelen  van 
deze  cases.  Hieruit  mogen  wij  concluderen  dat  de  cases  A  en  C  represen  tatief  zijn  voor 
het  betreffende  onderwijs(vernieuwings)concept  en  dat  deze  concepten  dus  zuiver 
omschreven  staan, 

De  beoordelingen  van  de  experts  over  case  B  duidden  op  een  probleem.  Het  probleem 
was  de  inhoudelijke  overlap  tussen  een  aantal  concepten.  Deze  uitslag  heeft  ertoe  geleid 
dat  de  deftniering  van  een  aantal  individuele  concepten  nader  is  gespecificeerd  en  dat  de 
verschillen  tussen  inhoudelijk  opelkaar  lijkende  concepten  ook  duidelijker  is  uiteengezet. 
Ten  gevolge  hiervan  is  het  instrument  nu  nog  beter  ingericht  op  het  onderseheiden 
tussen  deze  onderwijs(vernieuwings)concepten  in  diens  advies,  De  aspecten  die  een 
onderwijsconcept  uniek  maken  moeten  hierbij  benadrukt  worden  om  het  opt i male 
ad  vies  van  de  tool  te  kunnen  verwachten. 

Deel  1  van  de  valid! teit  is  benaderd  door  de  theorie  achter  de  onderwijsconcepten  te 
toetsen  aan  het  oordeel  van  de  expert.  Er  zijn  echter  beperk ingen  in  deze  opzet  denkbaar 
die  het  bee  Id  van  de  validatie  hebben  kunnen  vertroebelen.  De  gevonden  inconsistenties 
die  w  ij  hebben  gevonden  in  case  C  bijvoorheeld  zouden  hier  eventueel  door  verklaard 
kunnen  worden. 

Ten  eerste  meet  overwogen  worden  hoe  het  inzicht  van  een  expen  kan  verschillen  van 
aard  in  vergelijking  met  de  inzichten  van  de  vakliteratuuren  andere  experts,  Hoe  een 
onderwijsconcept  wordt  toegepast  kan  w-ezenlljk  verschillen,  zelfs  hoe  deze 
omschreven  wordt  in  de  literatuur,  Wat  volgens  onderzoek  de  meest  geschikte 
implementatievorm  is  van  een  bepaald  onderwijsconcept,  is  niet  noodzakelijkerwijs  ook 
wfat  wrij  terugzien  in  O&T-land,  De  expenise  van  een  onderwijsdeskundige  komt 
natuurlijk  voor  een  substantieel  deel  ook  uit  praktijkervaringen.  Zo  kan  het  voorkomen 
dat  het  bee  Id  van  de  uitvoering  van  een  bepaald  onderwijsconcept  niet  geheel  strookt 
met  het  idee  van  andere  experts,  Na  overleg  met  de  drie  experts,  hleek  dit  het  geval  te 
zijn,  Erontstond  bij  het  beoordelen  van  de  cases  verwarring  omdat  de  cases  de  ideale 
invulling  van  een  concept  omschreven  en  dit  niet  overeenkwam  met  de  ervaringen  van 
de  experts  van  datzelfde  concept,  lmplementatie  van  het  instrument  kan  daarom 
bijdragen  aan  uni  formering  van  begrippen  en  concepten  binnen  de  O&T  organisatie. 

Daamaast  is  de  inhoudelijke  overlap  tussen  hepaalde  onderwijsconcepten  een 
bemoeilijkende  factor  in  het  valideren  van  deze  tool.  Zo  hleek  dat  de  experts  vanuit  hun 
ervaring  erg  veel  overlap  ervaren  tussen  bijvoorheeld  probleem  gestuurd  leren  en  case 
gebaseerd  leren.  Doordat  de  experts  het  instrument  niet  hebben  ingevuld,  gaven  zij 
generieke  indrukken  op  basis  van  hun  expertise.  De  aangeboden  korte  definitie  van  elk 
concept  bij  het  beoordelen  van  de  cases  w'as  niet  afdoende  om  de  suhtiel  liggende 
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verschillen  op  te  helderen.  De  resultaten  van  case  B,  waar  alle  drie  experts  de  eerste  en 
tweede  keuze  precies  andersom  hadden  beoordeeld.  lijkt  voort  te  komen  uit  deze 
verwarring  of  discussie  over  de  gelijkenis  tussen  concepten. 

De  ervaringen  van  de  niet-onderwijskundige  experts  hebben  inzicht  gegeven  in  de 
gebruikersvriendelijkheid  van  het  instrument.  Vakterminoiogie  en  jargon  zorgden  voor 
onduidelijkheid.  Ook  bleek  dat  de  niet -experts  onvoldoende  onderwijskundige  kennis 
hadden  om  de  inhoud  van  het  instrument  goed  te  kunnen  interpreteren.  Voor  de 
toepassing  van  het  instrument  wordt  enige  mate  van  vakkennis  verondersteld.  Ook  was 
de  formutering  van  een  aantal  vragen  niet  duidelijk  genoeg  voor  de  niet- 
onderwijskundigen.  Naar  aanleiding  van  hun  commentaar  zijn  een  aantal  aanpassingen 
gemaakt  in  de  interface.  Onderwijskundige  termen  worden  nu  toegelicht  door  middel 
van  een  tekstueie  uitleg  die  verschijnt  als  een  pop-up.  Ook  is  de  lay-out  en  formulering 
van  een  aantal  vragen  herzien  zodat  de  vragen  helderder  worden  gepresenteerd. 

5.2  Vaiiditeit  deel  2 

De  resultaten  van  deel  2  van  de  validiteitmeting  zijn  veeibelovend.  Case  A  en  C  hebben 
beiden  overt  uigend  de  hoogste  gemiddelde  maiehpercentages  en  er  wordt  procentueel 
vaak  een  passend  eerste  of  tweede  advies  gegeven.  Voor  case  B  geldt  dat  de 
matchpercentages  ook  vrij  hoog  uitvallen  maar  een  passend  advies  nog  niet  voldoende 
vaak  wordt  gegeven.  Het  matchpercentage  geeft,  wat  dat  betreft.  een  opvallend  andere 
afspiegeling  van  de  resultaten.  In  tabei  6  worden  de  gemiddelde  matchpercentages 
weergegeven  per  concept.  Deze  weergave  van  de  resultaten  maakt  inzichtelijk  dat 
’probleem  gestuurd  leren’  nog  steeds  niet  het  hoogste  matchpercentage  heeft.  maar  wel 
het  op  ddn  na  hoogste.  Het  instrument  heeft  na  'deelvaardigheid  gestuurd  leren'  de 
grootste  match  gevonden  tussen  de  gegeven  antwoorden  en  ‘probleem  gestuurd  leren’ . 
Dit  is  een  beeld  dat  niet  naar  voren  komt  in  de  staafgrafieken,  die  niet  de 
matchpercentages  weergeven.  maar  de  percentages  van  het  eerste  en  tweede  advies. 
Kennelijk  is  de  match  tussen  de  gegeven  antwoorden  en  ‘probleem  gestuurd  leren' 
gemiddeld  vrij  hoog,  ondanks  dat  het  relatief  tot  andere  concepten  niet  altijd  op  de 
eerste  of  tweede  plek  komt,  Een  verklaring  hiervoor  is  dat  het  percentage  dat  gekoppeld 
is  aan  ‘probleem  gestuurd  leren’  in  veel  gevallen  dicht  bij  de  percentages  van  het  eerste 
en  tweede  advies  ligt.  Hierdoor  komt  het  niet  in  aanmerking  voor  het  eerste  of  tweede 
advies,  maar  laat  het  toch  een  grote  overlap  zien  met  de  gegeven  antwoorden. 
Bovendien  komt  ‘probleem  gestuurd  leren'  vrij  consequent  op  een  hoog  percenlueie 
match  (bijvoorbeeld  12  deelnemers  hadden  probleem  gestuurd  leren  als  3deof  4Jt' 
advies).  Andere  concepten  vertonen  meer  variatie  waardoor  een  hoog  matchpercentage 
weer  genivelleerd  wordt  door  een  laag  matchpercentage.  Deze  resultaten  tonen  aan  dat 
het  instrument  een  sterker  onderscheidingsvermogen  heeft  dan  initieel  duidelijk  wordt 
in  de  staafdiagrammen.  Het  concept  ‘probleem  gestuurd  leren'  wordt  wel  degelijk  naar 
de  voorgrond  gebracht.  maar  nog  niet  voldoende  om  telkens  een  eerste  of  tweede  plek 
te  krijgen.  Verderop  in  de  discussie  wordt  besproken  hoe  het  instrument  verscherpt  kan 
worden  om  dit  te  verbeteren. 

Om  de  uitkomsten  van  case  B  te  verklaren  is  gekeken  naar  de  casebeschrijving  zelf. 
Nadere  bestudering  van  deze  case  moest  dienen  om  eventuele  inzichten  te  verschaffen 
in  de  vraag  waarom  er  vooral  vaak  'deelvaardigheid  gestuurd  leren’  geadviseerd  is. 

De  case  als  geheel  omschrijft  duidelijk  "probleem  gestuurd  leren’.  en  niet 
‘deelvaardigheid  gestuurd  leren’.  Een  mogeiijkheid  is  dat  er  verwarring  is  ontstaan 
omdat  er  in  de  case  nadrukkelijk  verwezen  werd  naar  het  aanleren  van  vaardigheden. 
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Het  oordeel  van  de  experts  in  deel  1  van  de  validatie  (die  de  cases  beoordeelden  op 
inhoudelijke  zuiverheid)  geeft  echter  aan  dat  case  B  wel  degelijk  ‘probleem  gestuurd 
leren'  beschreef,  Het  essentiele  kenmerk  van  dit  concept  is  de  inte grade  van 
verse  hi  llende  vaardigheden  (en  kennis).  Deze  integratie  komt  in  casebeschrijving  B 
expliciet  aan  de  orde.  Dit  had  'deelvaardigheid  gestuurd  leren'  uit  moeten  sluiten. 

De  meting  van  dee]  2  van  de  validiteit  heeft  plaatsgevonden  in  twee  verschi  llende 
sessies  met  elk  14  of  15  deelnemers.  Na  interpretatie  van  de  data  van  de  eerste  sessie 
kwam  een  aantal  inzichten  naar  voren.  De  antwoorden  van  een  meerderheid  van  de 
deelnemers  waren  voor  telkens  dezelfde  vragen  inconsistent  met  de  gewenste 
antwoorden  >  Hierdoor  werden  naar  verhouding  veel  'onjuiste*  adviezen  gegenereerd 
door  het  instrument.  Deze  bevindtng  heeft  ertoe  geleid  dat  de  'herekeningen1'  die  het 
instrument  maakt  voor  die  specifieke  vragen  nog  eens  nader  zijn  bekeken.  Het  bleek  dal 
de  deelnemers  hetemaal  niet  de  verkeerde’  antwoorden  gaven,  maar  dat  de 
herekeningen  van  het  instrument  in  een  aantal  gevallen  niet  klopten,  Vooral  voor  de 
onderwijsc o ncepte n  'probleem  gestuurd  leren'  en  ‘ deel vaardigheid  gestuurd  leren'  kwam 
de  toeschrijving  van  punten  niet  overeen  met  de  wenselijke  toeschrijving  van  punten, 

De  reden  hiervan  was  grotendeels  te  wijten  aan  het  al  eerder  genoemde  gat  tussen  de 
pure  theorie  en  de  uitvoer  van  deze  concepten  in  de  praktijk,  De  herekeningen  van  het 
instrument  waren  gerieht  op  de  inrichting  van  onderwijsconcepten  vanuit  de  theorie. 

De  beschrijving  van  de  cases  (aan  de  hand  waarvan  de  deelnemers  het  instrument 
invulden)  was  juist  vanuit  het  oogpunt  van  een  praktische  inrichting  van  de  concepten. 
Aspecten  van  het  lespro  gramma  zoals  op  we  Ike  manier  feedback  gegeven  wordt. 
blijken  in  de  praktijk  voor  een  deel  anders  dan  in  theorie. 

Aan  de  hand  van  dit  inzicht  zijn  de  herekeningen  van  het  instrument  enigszins  aangepast. 
Deze  aanpassingen  zijn  achteraf  doorgevoerd  waardoor  de  een  aantal  adviezen  a  Is  nog 
veranderden,  In  de  interface,  en  dus  voor  de  deelnemers,  veranderde  er  niets. 

Hierdoor  konden  de  resultaten  van  de  eerste  en  de  tweede  groep  in  de  uiteindelijke 
interpretatie  same nge nomen  worden.  Wel  kan  het  zijn  voorgekomen  dat  een  deelnemer 
op  basis  van  de  'nieuwe1  herekening  een  under  ad  vies  had  gekregen,  Dit  kan  dus  wel 
gevolgen  hebben  gehad  voor  het  wel  of  niet  eventueel  zelfstandig  aanpassen  van  het 
ad  vies.  Omdat  de  voordelen  van  het  veranderen  van  de  berekening  zwaarder  wogen  dan 
het  nadeel  (de  eventuele  aanpassing  van  het  ad  vies  is  niet  voor  iedereen  gebaseerd  op 
het  daadwerkelijk  gegenereerde  ad  vies)  is  besloten  dit  door  te  voeren. 

Een  aantal  kleine  aanpassingen  zijn  verder  gemaakt  naar  aanleiding  van  de  ervaringen 
van  het  testen  van  de  eerste  groep  deelnemers.  Zo  is  in  de  instructie  aan  aantal  zaken 
verder  verduidelijkt  zodat  deelnemers  zichzelf  niet  voelden  getest.  Vooral  in  het 
eventueel  maken  van  een  andere  keuze  voor  een  onderwijsconcept  dan  het  instrument 
adviseerde.  De  tweede  sessie  is  dus  meer  aandacht  besteedt  aan  de  boodschap  dat  het 
instrument  zelf  gevalideerd  wrerd  en  dat  juist  de  input  van  de  deelnemers  wenselijk  was 
om  hierbij  te  helpen. 

Daarbij  is  besloten  om  tijdens  de  tweede  sessie  de  eventuele  alternatieve  keuze  digitaal 
in  te  laten  vullen,  in  plants  van  op  een  apart  vel  papier.  Hierdoor  hoopten  wij  te  bereiken 
dat  het  maken  van  een  eigen,  andere  keuze  meer  bij  het  proces  hoorde  en  dat  de 
drempel  dus  kleiner  werd  om  een  alternatief  onderwijsconcept  te  kiezen. 


.f 


VAk  ingevuld  amwoord  wordt  door  hci  instrument  doorberekend  naar  een  bepaalde  waanie. 

Het  uiteindclijkc  ad  vies  wordt  herekend  aande  hand  van  deze  waardes.  Zie  'doclstcllmg*  wor  nadere  uitleg. 
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Uit  de  resultaten  blijkt  dat  sommige  onderwijsconcepten  dicht  bij  elkaar  kunnen  liggen 
qua  inhoud,  Dit  komt  overeen  met  de  bevindingen  uit  het  literatuuronderzoek 
(Theunissen  et  al,  2005}  en  lag  dus  in  de  lijn  der  verwachting.  Deze  veronderstelde 
inhoudelijke  overlap  tussen  een  aantal  onderwijs(vernieuwrings)concepten  kan  de 
oorzaak  zijn  voor  de  resultaten  van  case  B  (probleem  gestuurd  leren).  Zo  is  er 
bijvoorbeeld  een  relatief  gelijk  aantal  keren  'case  gebaseerd  leren'  gescoord  voor  case  B. 
een  concept  dat  veel  inhoudelijke  overlap  heeft  met  ‘probleem  gestuurd  leren*. 

Ook  ‘deelvaardigheid  gestuurd  leren'  dee  It  facetten  met  'probleem  gestuurd  leren' 
waardoor  inhoudelijke  overlap  bestaat. 

5,3  Algemeen 

In  grote  lijnen  mag  worden  geconcludeerd  dat  het  ontwikkelde  instrument  werkt  en 
toepasbaar  is.  Er  zijn  verfijningen  noodzakelijk  om  het  instrument  een  nog  scherper 
onderscheid  te  laten  maken  tussen  onderwijsconcepten  die  inhoudelijk  veel  overlap 
hebben,  Dit  zou  kunnen  door  bijvoorbeeld  meer  detailvragen  toe  te  voegen  in  het 
instrument  waarmee  een  scherper  onderscheid  tussen  de  concepten  wrordt  gecreeerd. 

Een  verdere  aanscherping  van  deze  vragen  is  belangrijk  om  specifieker  te  different ieren 
in  subconcepten.  Hiervoor  is  het  noodzakelijk  dat  wordt  verkend  welke  verschillen 
tussen  subconcepten  hier  belangrijk  zijn.  en  welke  allesbepalende  kcnmerken  de 
concepten  hehben.  Om  het  instrument  bijvoorbeeld  duidelijker  te  laten  onderscheiden 
tussen  deelvaardigheid  gestuurd  leren'  en  andere  concepten.  kan  een  vraag  worden 
toegevoegd  die  een  essentieel  kenmerk  van  deelvaardigheid  gestuurd  leren  uitlicht. 

De  vraag  zou  kunnen  zijn  of  het  noodzakelijk  is  dat  de  eursist  losse  vaardigheden  1  een 
integreren.  A  Is  het  antwoord  hierop  jaP  is.  is  het  duidelijkdat  deelvaardigheid  gestuurd 
leren  niet  de  meest  geschikte  vorm  zal  zijn.  Hierdoor  moeten  meer  detailvragen  in  het 
instrument  worden  opgenomen  zodat  het  nog  betere  en  specifiekere  adviezen  genereert. 

In  de  literatuur  (Theunissen  et  aU  2005)  wordt  al  verwezen  naar  de  problemen  rondom 
specifieke  definierirtg  van  de  onderwijsconcepten.  Door  inhoudelijke  overlap  van 
concepten.  en  omdat  praktijk  en  theorie  niet  altijd  hand  in  hand  gaan,  is  er  ruimte  voor 
spding.  Nuance  verschillen  in  interpretatie  en  toepassing  van  onderwijsconcepten  leidt 
tot  niet-eenduidige  defmities  van  de  concepten.  Deel  1  van  de  validatie  bevestigt  dit 
door  te  tonen  dat  expens  onderling  en  in  verge lij king  met  de  theorie  verschillen  in  him 
oordeel  Dit  instrument  kan  op  dit  vlak  binnen  een  organi satie  een  belangrijke  sleutelrol 
vervullen.  Door  het  instrument  te  gebruiken  kan  namelijk  binnen  een  organisatie 
eenduidigheid  worden  gecreeerd  wat  betreft  de  inhoud  en  toepassing  van  de 
onderwijsconcepten.  Doordat  het  instrument  tel  kens  eenzelfde  definitie  van  de 
concepten  hanteert,  wordt  binnen  de  organisatie  als  vanzelf  door  de  gebruikers  een 
zelfde  definitie  gehanteerd.  Onduidefijkheden  of  dubbelzinnigheden  kunnen  hiermee 
w  orden  voorkomen. 

Ook  zou  het  instrument  in  grotere  mate  afgestemd  kunnen  worden  op  de  krijgsmachtdelen 
die  bet  instrument  willen  gebruiken.  Zo  zouden  gangbare  termi  no  logic  van  het 
betreffende  krijgsmachtdeel  ge’tmplementeerd  kunnen  worden.  Ook  zouden  varianten 
op  de  onderwijs(vermeuvvings)eoneepten  meegenomen  kunnen  warden  als  dit  relevant 
is  voor  een  separaat  krijgsmachtdeel. 

Daamaast  moeten  opleidingsontwikkelaars  werken  met  dit  instrument  en  hun  mening 
over  de  bruikbaarheid  en  werkbaarheid  van  het  instrument  worden  gei n ve ntari seerd . 


TNO- rapport  |  TNO-DV  2007  A1 1 1 


20/29 


Tot  slot  is  het  wenselijk  om  optics  te  beschrijven  op  we  ike  wijze  dit  instrument 
geYmpIementeerd  kan  worden  in  de  opleidingontwikkeimethodiek  van  bijvoorheeld  de 
KL.  Wanneer  de  KL  overgaat  tot  gebruik  van  de  geautomatiseerde  ondersteuning  van 
opleiding  en  trainingsontwikkeling,  zal  dit  instrument  daarvan  dee!  moeten  uitmaken. 
Wanneer  dit  instrument  geYmpIementeerd  is  in  de  O&T  orstwikkeling  systematiek, 
wordt  verwacht  dat  er  tneer  uniformiteit  komt  in  het  gebruik  en  de  toepassing  van  de 
onderwijs(vernieuwings)concepten< 


Ondertekening 


Soesterberg,  mei  2007 


Afdelingshoofd 
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A  Case  A 


Voor  de  opleiding  tot  monteur  Wapensysteem  leopard  II  A6  zijn  dit  jaar  10  deelnemers 
aangemeld.  Binnen  deze  opleiding  volgen  zij  gezamenlijk  de  module 
‘onderhoudsdiagnose*.  Hot  stellen  van  onderhoudsdiagnoses  aan  het  wapensysteem 
vormt  het  startpunt  voor  eventuele  vervolghandelingen  van  een  monteur. 

Om  de  staat  van  onderhoud  van  een  wapensysteem  te  kunnen  vaststellen  is  kennis  van 
het  algemeen  functioneren  van  het  wapensysteem  vereist.  De  cursisten  hebben  niet 
allemaal  dezelfde  achtergrond  waardoor  vooraf  aan  de  opleiding  getoetst  moet  worden 
welke  kennis  en  vaardigheden  nog  ontbreken  en  welke  ai  bekend  zijn.  De  deelnemer 
moet  op  de  hoogte  zijn  van  de  werking  van  de  mechanische  onderdelen  en  de  daarbij 
veelvoorkomende  defecten,  Daarnaast  is  het  uitvoeren  van  reparatievaardigheden  en 
onderhoudstaken  afhankelijk  van  het  stellen  van  een  correete  diagnose. 

Er  wordt  in  deze  module  specifiek  aandacht  besteed  aan  het  oet'enen  van  bepaalde 
vaardigheden  als  losstaande  componenten.  Zo  wordt  bijvoorbeeld  de  onderhouds¬ 
diagnose  van  het  richtsysteem  of  het  laadsysteem  afzonderlijk  behandeld  en  geoefend. 
Aan  de  hand  van  gerichte  leertaken  en  opdrachten  moeten  de  deelnemers  leren  om 
conecte  diagnoses  te  stellen.  Daarbij  doen  ze  ervaring  op  met  de  noodzakelijke 
houdingsaspecten  ten  opzichte  van  zaken  als  veiligheid  en  professioneel  gedrag.  In  het 
klaslokaal  nemen  de  deelnemers  de  theoretische  aspecten  door  met  hun  instructeur  en  in 
de  werkpiaats  oefenen  zij  met  het  echte  wapensysteem.  Een  belangrijk  aspect  van  deze 
module  is  het  uitvoeren  van  opdrachten  in  de  werkpiaats.  Zo  kunnen  de  deelnemers  een 
zeker  automatisme  verwezenlijken  voor  het  uitvoeren  van  bepaalde  taken.  Zij  zijn 
bekend  met  deze  vorm  van  onderwijs. 

Deelnemers  werken  individueel  of  in  kleine  groepjes  aan  de  opdrachten  en  worden 
hierin  begeleid  door  de  instructeur.  De  instructeur  siemt  de  begeleiding  op  de  werkvloer 
af  op  de  behoefte  van  de  deelnemers.  Hij  kan  antwoord  geven  op  specifieke  vragen, 
sturing  geven  voor  het  oplossen  van  een  probleem,  of  begeleiding  bieden  bij 
groepsdiscussies.  Daarnaast  formuleert  de  instructeur  welk  eindpunt  behaald  moet 
worden.  Hierbij  speelt  ook  mee  of  de  cursisten  zich  verstandig  en  professioneel 
gedragen  rondom  de  apparatuur.  Omdat  de  deelnemers  dezelfde  vaardigheden  en  kennis 
moeten  aan  leren.  is  het  vaak  zo  dat  zij  ook  van  elkaar  leren  door  te  overleggen  of  elkaar 
feedback  te  geven.  Ook  is  er  ruimte  voor  hen  om  specifieke  leerwensen  of  behoeften  in 
te  brengen  waar  de  instructeur  vervolgens  rekening  mee  kan  houden. 

Aan  het  einde  van  de  training  moeten  de  deelnemers  blijk  kunnen  geven  van  hun  inzicht 
en  vaardigheden  op  het  gebied  van  onderhoudsdiagnose  van  het  Leopard  II 
wapensysteem.  Dit  wordt  getoetst  door  een  praktijkopdracht  waar  ook  enkele 
theoretische  vragen  worden  gesteld.  Om  een  compleet  beeld  te  vormen  van  de 
voortgang  van  de  deelnemers  worden  hun  prestaties  gedurende  de  module  bijgehouden. 
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B  Case  B 


Bi linen  OTC  Manoeuvre  is  ter  voorbereiding  op  vredes  missies  naar  Afghanistan  de 
training  "omgang  met  de  lokale  bevolking”  vereist.  iaarlijks  moeten  tachtig 
infanteristen  deze  training  volgen,  steeds  in  groepen  van  aeht  deelnemers  tegelijk. 

Deze  training  is  crop  gericht  om  de  infanteristen  voor  te  bereiden  op  het  omgaan  met 
een  onbekende  eultuur  en  deze  kennis  in  te  zetten  bij  him  operationele  taakuitvoering. 
Onbegrip  voor  de  Afghaanse  eultuur  en  een  tekort  aan  kennis  over  lokale  gebruiken, 
kan  het  succes  van  een  vredesmissie  ernstig  belemmeren.  Om  deze  reden  is  de  training 
van  groot  belang* 

Er  word!  in  de  training  onder  andere  aandacht  besteed  aan  Afghaanse  gebruiken 
(rituelen.  ge  loo  fs  gebruiken),  omgangsvormen  (beleefdheidsvormen.  lichaamstaal), 
hierarehie  (rrtan/vrouw,  oud/jong,  qaum)  en  communicatie  (initieren  en  afronden  van 
een  gesprek,  gepaste  handgebaren).  Aan  de  hand  hiervan  verwerven  de  infanteristen 
vaardigheden  waarmee  zij  zieh  kunnen  aan  pas  sen  aan  de  lokale  eultuur.  Deze  training 
wordt  aangeboden  aan  het  einde  van  het  opwerktraject  voor  uitzending  naar 
Afghanistan.  De  nieuwe  kennis  en  vaardigheden  moeten  warden  geintegreerd  in  hun 
dagelijkse  activiteiten  aldaar,  Een  bijkomende  uitdaging  van  deze  training  is  dat  de 
deelnemers  de  nieuw  verworven  vaardigheden  moeten  kunnen  toepassen  bij 
onvoorziene  gebeurtenissen  waarvan  niet  eenduidig  is  welke  vaardigheden  ingezet 
moeten  worden.  Zodoende  wordt  in  de  training  veel  aandacht  besteedt  aan  de  context 
waarbinnen  de  deelnemers  moeten  handelen. 

De  deelnemers  werken  in  teams  van  vier  personen.  In  de  training  wordt  het  team 
geconfronteerd  met  een  situatie  waaraan  een  opdracht  gekoppeld  is.  De  situatie  is 
complex  en  behelst  meerdere  culturele  aspecten  en  mogelijke  valkuilen  waarmee 
rekening  gehouden  moet  wrorden  door  de  deelnemers.  De  deelnemers  krijgen  een 
opdracht  waarbij  een  aantal  vaardigheden  aan  bod  komen,  zoals  het  uitvragen  van 
gevoelige  informatie  bij  een  aantal  dorpelingen.  Om  de  situatie  correct  aan  te  pakken  en 
de  opdracht  succes vol  af  te  ronden  moeten  de  deelnemers  op  zoek  naar  relevante  kennis 
over  de  Afghaanse  eultuur.  Deze  kennis  moet  vervolgens  geintegreerd  worden  in  hun 
aanpak  zodat  zij  hun  missie  kunnen  volbrengen.  Daarbij  is  het  van  belang  dat  de 
deelnemers  leren  anticiperen  op  mogelijke  gevoelige  situaties  en  discreet  met  culturele 
gevoeligheden  omgaan,  Een  hoge  mate  van  eigen  verantwoordelijkheid  is  vereist  om 
zelfstandig  te  zoeken  naar  de  benodigde  kennis  en  vaardigheden.  Deelnemers  kunnen 
daarnaast  onderling  overleggen  en  er  wordt  in  de  training  verwacht  dat  zij  kennis  en 
kunde  met  elkaar  delen  om  verder  te  komen  in  de  benadering  en  aanpak  van  de  situatie. 
Hiertoe  ontwikkelen  2ich  meestal  al  gauw  meerdere  momenten  waar  tijd  genomen 
wordt  voor  diseussie.  Dit  betekent  dat  deelnemers  gedurende  het  proces  elkaar  vaak 
instrueren  en  corrigeren.  Voor  overige  begeleiding  en  advies  kunnen  de  deelnemers  ook 
terecht  bij  een  begeleider.  Gedurende  de  training  wrordt  de  voortgang  van  de  deelnemers 
btjgehouden  door  de  begeleider  wat  gebruikt  kan  worden  bij  het  afsluitende  gesprek. 
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C  Case  C 


Op  de  Pontonnierschool  nemen  dit  jaar  drie  deelnemers  dee!  aan  de  opleiding  Bedienaar 
trilwals,  In  een  eerder  deel  van  deze  opleiding  is  de  benodigde  theoretische 
achtergrondkennis  behandeld.  De  deelnemers  hebben  toen  kennis  opgedaan  van  onder 
andere  verschillende  bodemsoorten,  triltechnieken  en  verdichtingstechnieken. 

Dit  onderdeel  van  de  opleiding  richt  zieh  op  het  inzetten  van  bun  kennis  en 
bekwaatnheden  in  de  praktijk. 

De  deelnemers  mo  gen  meelopen  met  genisten  in  het  veld  en  meewerken  in 
praktijksituaties,  Dit  biedt  de  kans  om  praktijkervaring  op  te  doen  met  het  toepassen 
van  hun  bekwaamheden*  maar  ook  om  nieuwe*  meer  specialistische  expertise  op  te 
doen.  Elke  deelnemer  loopt  mee  met  twee  ervaren  genisten,  De  hoofdzakelijk 
theoretische  kennis  van  de  deelnemers  op  gebied  van  het  bedienen  van  de  trilwals  kan 
op  de  werkvloer,  onder  toezicht  van  ervaren  genisten*  toegepast  worden.  De  genisten 
geven  de  deelnemers  de  ruimte  om  zelf  zaken  aan  te  pakken  en  bepaalde  handelingen  te 
oefenen.  Zonodig  kunnen  de  ervaren  genisten  de  deelnemers  bijsturen  en  adviseren 
terwijl  zij  op  de  werkvloer  bezig  zijn. 

Door  regelmatig  te  overleggen*  kunnen  de  deelnemers  profiteren  van  de  expertise  van 
de  genisten*  e  vena  Is  van  elkaar.  Tweemaal  per  w  eek  komen  de  deelnemers  samen  met 
de  begeleider  Dit  geeft  de  gelegenheid  om  ervaringen  uit  te  wisselen,  leermomemen  te 
benoemen  en  moeilijkheden  te  bespreken.  De  begeleider  bespreekt  de  voortgang  van  de 
deelnemers  door  vragen  te  stellen  over  hun  ervaringen  en  nieuwe  kennis.  Ook  vraagt  de 
begeleider  naar  eventuele  moeilijkheden  of  struikelhlokken.  De  begeleider  kan  zo  de 
onthrekende  kennis  aan vu lien  en  handvatten  bieden  in  lastige  (leer)situaties. 

De  bijeenkomsten  met  de  begeleider  dienen  ertoe  moeilijkheden  die  de  deelnemers 
ervaren  in  kaart  te  brengen  en  hierop  in  te  gaan  met  aanvullende  uitleg  en  tips. 
Bovendien  stuurt  de  begeleider  het  leerproces  actief  door  leertaken  mee  te  geven  en 
opdrachten  te  formuleren.  Het  stellen  van  con  trole  vragen  geeft  de  begeleider  inzicht  in 
de  voortgang  van  de  deelnemers. 

Gedurende  de  praktijktraining  worden  de  deelnemers  beoordeeld  op  hun  tussentijdse 
prestaties,  Deze  tussentijdse  beoordel ingen  tellen  voor  een  groot  deel  mee  in  de 
eindbeoordeling.  Tot  slot  moet  een  eindopdracht  op  de  werkvloer  uitwijzen  of  de 
deelnemers  voldoende  bekwaam  zijn  in  het  bedienen  van  de  trilwals. 
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D  Deelnemersf'ormulieren 


Onderwijs  Vernieuwingsconcepten 


Validatie  KL 
12  September  2006 
Budel 
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[nstriictieblad 


Welkom!  Voor  u  staat  een  laptop  met  daarop  gei'nstalleerd  een  instrument'  dat 
ondersteuning  biedt  in  het  selecteren  van  onderwijsconcepten  bij  bepaalde  lessituaties. 
Dank  voor  uw  medewerking.  Hierdoor  kunnen  wij  het  instrument  valideren. 

Deze  validatie  is  ervoor  om  te  bepalen  of  het  instrument  een  advies  kan  geven  over  het 
meest  geschikte  onderw ij s concept  Wij  testen  dus  niet  uw'  kcnnis  of  kunde,  maar  of 
dit  instrument  kan  dienen  om  u  te  ondersteunen  in  het  maken  van  keuzes. 

U  krijgt  drie  ‘cases'  voorgelegd  die  elk  een  lessituatie  omschrijven.  Aan  de  hand  van  de 
informatie  die  in  de  case  beschreven  staat,  kunt  u  het  instrument  in vu lien  door  vragen  te 
beantwoorden,  Lees  de  instructies  voor  het  invullen  van  het  instrument  eerst  zorgvuldig. 
U  mag  de  case  beschrijvtng  tijdens  het  invullen  van  het  instrument  blijven  raadplegen. 

Wanneer  u  alle  vragen  heeft  beantwoord.  kunt  u  uw  advies  lezen  door  naar  het  voigende 
tabblad  te  gaan,  Hierna  roept  u  een  onderzoekbegeleider  van  TNO.  E6n  van  hen  zal  u 
helpen  om  de  gegeven  antwoorden  op  te  slaan  en  door  te  gaan  naar  de  voigende  case. 

Dank  voor  de  medewerking! 
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Respondent  nr.  D1_LI 


Advies: 


Ik  kies  een  andere  opiie  namelijk: 


Case  A 


Mogelijkheid: 


Omdat: 


Case  B 


Mogelijkheid; 


Omdat: 


Case  C 


Mogelijkheid; 


Omdat: 
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Code;  DI_L1 


Rang; 


Leeftijd: 


Wapen  en  diensivak; 


Aantal  jaar  ervaring  a  Is  instructeur: 
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Onderwijsconcept  Uitleq 


Kenmerken 


Case  gebaseerd  Een  case  beschrijft  een 

leren  (realistische)  situatie.  De  case 

beschrijving  Is  gestructureerd,  en 
biedt  de  deetnemers  houvast  door 
middel  van  relevant©  informatie, 
feiten  over  situatie,  proces,  en 
randvoorwaarden. 


Probfeem  gestuurd 
leren 


De  curslst  wordt  geconfronteerd 
met  een  realistisch  probleem  in 
een  (gesimuleerde)  werkomgeving 
of  leeriocatie  I  os  van  de  werkplek. 
Cursisten  krijgen  weinig  of  geen 
structuur  aangeboden  en  zijn  op 
zichzetf  {eventueel  in  teams) 
aangewezen. 

Competentie  Cursisten  oefenen  in  realistische 

gebasee rd  I e re n  p rakt ij ksitu at ies  wa arbij  z ij  ken n i s . 

vaardigheden  en 
houdingsaspecten  geintegreerd 
krijgen  aangeboden.  Er  wordt  met 
name  gericht  op  het  aanbeiden 
van  de  nog  ontbrekende 
competences. 


Leren  op  de 
werkplek 


De  cursist  feed  terwijl  hij/zij  aan 
het  werk  is.  Soms  kan  dit  ook 
plaatsvinden  in  een  gesimuleerde 
werkplek.  De  aandacht  gaat  hier 
uft  naar  het  aanvullen  van 
ontbrekende  kennist  vaardigheden 
en  houdingen. 

Oeeivaardigheid  Een  complex©  vaardigheid  wordt 

gestuurd  leren  in  kleinere  (losse)  behapbare 

delen  geoefend. 


Verantwoordelijkheid  ligt 
zowel  bij  cursist  als  blj 
instructeur. 

Cursisten  leren  meer  door 
samen  te  werken. 

Er  wordt  structuur  geboden. 
Accent  ligt  op  aanleren 
nieuwe  kennis,  vaardigheden 
en  houdingsaspecten, 
Verantwoordelijkheid  ligt 
grotendeels  bij  de  cursist. 
Cursisten  leren  meer  door 
samen  te  werken. 

Accent  ligt  op  aanleren  en 
integ  reran  van  nieuwe  kennis, 
vaardigheden  en 
houdingsaspecten. 
Verantwoordelijkheid  ligt 
zowel  bij  cursist  als  blj 
instructeur. 

Cursisten  leren  meer  door 
samen  te  werken. 

Er  wordt  enige  structuur 
geboden. 

Accent  ligt  op  integreren  van 
kennis,  vaardigheden  en 
houdingsaspecten, 

Verantwoordelijkheid  ligt 
grotendeels  bij  de  cursist. 
Cursisten  leren  meer  door 
samen  te  werken. 

Accent  ligt  op  oefenen  en 
uitvoeren  van  kennis. 
vaardigheden  en 
houdingsaspecten. 
Verantwoordelijkheid  voor  het 
lesprogramma  ligt  bij 
instructeur. 

Er  wordt  structuur  geboden. 
Accent  ligt  op  aanleren 
nieuwe  vaardigheden. _ 
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